Jedoch erhob die schräg gegenüber auf der anderen Rheinseite gelegene Stadt (Ober)Wesel in Verbindung mit dem Trierer Erzbischof Boemund II. Einspruch, da man wohl fürchtete, dass auch hier eine Zollstelle ähnlich der Kauber eingerichtet werden sollte, so dass Oberwesel ganz vom Rheinverkehr abgeschnitten werden konnte.
Am 6. 1. 1360 wird der Bau vertraglich unterbrochen.
Des ungeachtet, plante Pfalzgraf Ruprecht offenbar eine Fortsetzung der Arbeiten, denn am 22. 2. 1360 ernennt er Giselbert Brömser von Rüdesheim, am 27. 5. 1360 Ritter Johann vom Stein bei Nassau als Burgmannen auf der neuen Veste Herzogenstein.
Im Laufe des Sommers 1360 kam es anscheinend zur (bewaffneten?) Auseinandersetzung mit Wesel um den Bauplatz, da der Bau offenbar fortgesetzt worden war.
Schließlich vermittelte Kaiser Karl IV. und bewog den Pfalzgrafen wohl zur Einstellung seiner Bauabsichten. Zwar wird am 11. 10. 1360 noch Friedrich vom Stein zum Burgmann gemacht, der, falls „die burg abginge“, zu Kaub Burgmann werden solle, wo er 1364 auch tatsächlich genannt wird. Im Burgfrieden vom 14. 8. 1361, in dem die rechtsrheinischen pfalzgräflichen Landesburgen aufgezählt werden, sind Kaub, Pfalzgrafenstein und Sauerburg genannt, Herzogenstein hingegen nicht mehr, so dass die unfertige Burganlage offenbar aufgegeben worden war.